1 Simulation set up

  • Sample size for both training and testing set is 200
  • 50 covariates, 10 groups, 5 covariates each group
  • group 1 and 3 are important, with beta = c(1, 2, 3, 4, 5)
  • signal-to-noise ratio = 1
  • use BIC to select lambda
  • use prediction error to evaluate prediction
  • tuning parameter of weight: 0, .25, .5, .75, 1, no scale. just used cost for weight
  • cost randomly generated with each simulation
  • solution path

2 zero correlation for both inter and intra group

2.1 Results

##    group Lasso   CRL    GL   CGL  rCGL
## 1      1 1.000 1.000 1.000 1.000 1.000
## 2      1 1.000 1.000 1.000 1.000 1.000
## 3      1 1.000 1.000 1.000 1.000 1.000
## 4      1 1.000 1.000 1.000 1.000 1.000
## 5      1 1.000 1.000 1.000 1.000 1.000
## 6      2 0.104 0.136 0.268 0.295 0.262
## 7      2 0.131 0.143 0.268 0.295 0.262
## 8      2 0.126 0.158 0.268 0.295 0.262
## 9      2 0.113 0.138 0.268 0.295 0.262
## 10     2 0.098 0.134 0.268 0.295 0.262
## 11     3 1.000 1.000 1.000 1.000 1.000
## 12     3 1.000 1.000 1.000 1.000 1.000
## 13     3 1.000 1.000 1.000 1.000 1.000
## 14     3 1.000 1.000 1.000 1.000 1.000
## 15     3 1.000 1.000 1.000 1.000 1.000
## 16     4 0.102 0.130 0.276 0.304 0.260
## 17     4 0.128 0.145 0.276 0.304 0.260
## 18     4 0.133 0.158 0.276 0.304 0.260
## 19     4 0.111 0.141 0.276 0.304 0.260
## 20     4 0.125 0.141 0.276 0.304 0.260
## 21     5 0.105 0.122 0.274 0.278 0.253
## 22     5 0.125 0.137 0.274 0.278 0.253
## 23     5 0.142 0.152 0.274 0.278 0.253
## 24     5 0.103 0.113 0.274 0.278 0.253
## 25     5 0.102 0.118 0.274 0.278 0.253
## 26     6 0.121 0.147 0.316 0.320 0.297
## 27     6 0.122 0.165 0.316 0.320 0.297
## 28     6 0.118 0.142 0.316 0.320 0.297
## 29     6 0.114 0.119 0.316 0.320 0.297
## 30     6 0.124 0.142 0.316 0.320 0.297
## 31     7 0.109 0.130 0.305 0.296 0.282
## 32     7 0.119 0.138 0.305 0.296 0.282
## 33     7 0.118 0.136 0.305 0.296 0.282
## 34     7 0.110 0.135 0.305 0.296 0.282
## 35     7 0.127 0.143 0.305 0.296 0.282
## 36     8 0.124 0.139 0.296 0.305 0.273
## 37     8 0.120 0.140 0.296 0.305 0.273
## 38     8 0.113 0.135 0.296 0.305 0.273
## 39     8 0.108 0.142 0.296 0.305 0.273
## 40     8 0.115 0.141 0.296 0.305 0.273
## 41     9 0.114 0.128 0.278 0.281 0.254
## 42     9 0.134 0.143 0.278 0.281 0.254
## 43     9 0.121 0.132 0.278 0.281 0.254
## 44     9 0.099 0.114 0.278 0.281 0.254
## 45     9 0.120 0.139 0.278 0.281 0.254
## 46    10 0.105 0.133 0.291 0.295 0.268
## 47    10 0.131 0.138 0.291 0.295 0.268
## 48    10 0.090 0.110 0.291 0.295 0.268
## 49    10 0.096 0.115 0.291 0.295 0.268
## 50    10 0.139 0.142 0.291 0.295 0.268

## # A tibble: 5 x 3
##   variable ave_pe med_pe
##   <fct>     <dbl>  <dbl>
## 1 Lasso      1.22   1.21
## 2 CRL        1.23   1.21
## 3 GL         1.14   1.13
## 4 CGL        1.15   1.14
## 5 rCGL       1.13   1.13
## # A tibble: 5 x 3
##   variable ave_cpp med_cpp
##   <fct>      <dbl>   <dbl>
## 1 Lasso       82.7    80.2
## 2 CRL         81.8    78.9
## 3 GL          64.5    62.3
## 4 CGL         61.8    60.3
## 5 rCGL        61.4    60.4

2.2 Solution path

3 zero between-group, 0.5 within group correlaion

3.1 Results

##    group Lasso   CRL    GL   CGL  rCGL
## 1      1 1.000 1.000 1.000 1.000 1.000
## 2      1 1.000 1.000 1.000 1.000 1.000
## 3      1 1.000 1.000 1.000 1.000 1.000
## 4      1 1.000 1.000 1.000 1.000 1.000
## 5      1 1.000 1.000 1.000 1.000 1.000
## 6      2 0.039 0.053 0.292 0.312 0.290
## 7      2 0.039 0.061 0.292 0.312 0.290
## 8      2 0.040 0.053 0.292 0.312 0.290
## 9      2 0.046 0.052 0.292 0.312 0.290
## 10     2 0.033 0.045 0.292 0.312 0.290
## 11     3 1.000 1.000 1.000 1.000 1.000
## 12     3 1.000 1.000 1.000 1.000 1.000
## 13     3 1.000 1.000 1.000 1.000 1.000
## 14     3 1.000 1.000 1.000 1.000 1.000
## 15     3 1.000 1.000 1.000 1.000 1.000
## 16     4 0.032 0.044 0.294 0.300 0.277
## 17     4 0.025 0.047 0.294 0.300 0.277
## 18     4 0.034 0.055 0.294 0.300 0.277
## 19     4 0.043 0.047 0.294 0.300 0.277
## 20     4 0.040 0.055 0.294 0.300 0.277
## 21     5 0.031 0.044 0.314 0.325 0.305
## 22     5 0.039 0.049 0.314 0.325 0.305
## 23     5 0.040 0.051 0.314 0.325 0.305
## 24     5 0.050 0.069 0.314 0.325 0.305
## 25     5 0.043 0.046 0.314 0.325 0.305
## 26     6 0.031 0.050 0.286 0.286 0.269
## 27     6 0.027 0.048 0.286 0.286 0.269
## 28     6 0.032 0.044 0.286 0.286 0.269
## 29     6 0.043 0.053 0.286 0.286 0.269
## 30     6 0.038 0.050 0.286 0.286 0.269
## 31     7 0.033 0.049 0.304 0.294 0.287
## 32     7 0.039 0.046 0.304 0.294 0.287
## 33     7 0.047 0.059 0.304 0.294 0.287
## 34     7 0.037 0.045 0.304 0.294 0.287
## 35     7 0.048 0.051 0.304 0.294 0.287
## 36     8 0.035 0.046 0.276 0.286 0.259
## 37     8 0.044 0.057 0.276 0.286 0.259
## 38     8 0.047 0.055 0.276 0.286 0.259
## 39     8 0.036 0.041 0.276 0.286 0.259
## 40     8 0.038 0.043 0.276 0.286 0.259
## 41     9 0.032 0.049 0.269 0.289 0.264
## 42     9 0.034 0.045 0.269 0.289 0.264
## 43     9 0.038 0.052 0.269 0.289 0.264
## 44     9 0.050 0.066 0.269 0.289 0.264
## 45     9 0.045 0.051 0.269 0.289 0.264
## 46    10 0.035 0.051 0.286 0.302 0.274
## 47    10 0.043 0.060 0.286 0.302 0.274
## 48    10 0.038 0.056 0.286 0.302 0.274
## 49    10 0.043 0.054 0.286 0.302 0.274
## 50    10 0.030 0.044 0.286 0.302 0.274

## # A tibble: 5 x 3
##   variable ave_pe med_pe
##   <fct>     <dbl>  <dbl>
## 1 Lasso      1.13   1.12
## 2 CRL        1.14   1.13
## 3 GL         1.13   1.12
## 4 CGL        1.14   1.14
## 5 rCGL       1.13   1.12
## # A tibble: 5 x 3
##   variable ave_cpp med_cpp
##   <fct>      <dbl>   <dbl>
## 1 Lasso       49.9    45.3
## 2 CRL         51.4    46.3
## 3 GL          64.6    62.9
## 4 CGL         61.9    60.6
## 5 rCGL        62.2    61.1

3.2 Solution path

4 0.5 correlation for both between and within groups

4.1 Results

##    group Lasso   CRL    GL   CGL  rCGL
## 1      1 1.000 1.000 1.000 1.000 1.000
## 2      1 1.000 1.000 1.000 1.000 1.000
## 3      1 1.000 1.000 1.000 1.000 1.000
## 4      1 1.000 1.000 1.000 1.000 1.000
## 5      1 1.000 1.000 1.000 1.000 1.000
## 6      2 0.230 0.252 0.458 0.523 0.433
## 7      2 0.197 0.214 0.458 0.523 0.433
## 8      2 0.229 0.248 0.458 0.523 0.433
## 9      2 0.216 0.224 0.458 0.523 0.433
## 10     2 0.234 0.238 0.458 0.523 0.433
## 11     3 1.000 1.000 1.000 1.000 1.000
## 12     3 1.000 1.000 1.000 1.000 1.000
## 13     3 1.000 1.000 1.000 1.000 1.000
## 14     3 1.000 1.000 1.000 1.000 1.000
## 15     3 1.000 1.000 1.000 1.000 1.000
## 16     4 0.217 0.216 0.443 0.510 0.408
## 17     4 0.215 0.228 0.443 0.510 0.408
## 18     4 0.210 0.223 0.443 0.510 0.408
## 19     4 0.206 0.212 0.443 0.510 0.408
## 20     4 0.243 0.232 0.443 0.510 0.408
## 21     5 0.228 0.234 0.473 0.535 0.438
## 22     5 0.231 0.217 0.473 0.535 0.438
## 23     5 0.219 0.238 0.473 0.535 0.438
## 24     5 0.210 0.231 0.473 0.535 0.438
## 25     5 0.222 0.237 0.473 0.535 0.438
## 26     6 0.235 0.222 0.476 0.511 0.450
## 27     6 0.250 0.223 0.476 0.511 0.450
## 28     6 0.215 0.215 0.476 0.511 0.450
## 29     6 0.207 0.213 0.476 0.511 0.450
## 30     6 0.207 0.212 0.476 0.511 0.450
## 31     7 0.256 0.249 0.502 0.528 0.465
## 32     7 0.221 0.226 0.502 0.528 0.465
## 33     7 0.232 0.245 0.502 0.528 0.465
## 34     7 0.229 0.225 0.502 0.528 0.465
## 35     7 0.240 0.243 0.502 0.528 0.465
## 36     8 0.211 0.207 0.447 0.499 0.409
## 37     8 0.227 0.234 0.447 0.499 0.409
## 38     8 0.227 0.224 0.447 0.499 0.409
## 39     8 0.218 0.221 0.447 0.499 0.409
## 40     8 0.222 0.225 0.447 0.499 0.409
## 41     9 0.226 0.227 0.460 0.507 0.432
## 42     9 0.222 0.234 0.460 0.507 0.432
## 43     9 0.218 0.212 0.460 0.507 0.432
## 44     9 0.229 0.237 0.460 0.507 0.432
## 45     9 0.228 0.239 0.460 0.507 0.432
## 46    10 0.205 0.213 0.439 0.480 0.412
## 47    10 0.211 0.213 0.439 0.480 0.412
## 48    10 0.220 0.225 0.439 0.480 0.412
## 49    10 0.220 0.214 0.439 0.480 0.412
## 50    10 0.217 0.231 0.439 0.480 0.412

## # A tibble: 5 x 3
##   variable ave_pe med_pe
##   <fct>     <dbl>  <dbl>
## 1 Lasso      1.13   1.13
## 2 CRL        1.14   1.13
## 3 GL         1.14   1.14
## 4 CGL        1.16   1.16
## 5 rCGL       1.14   1.13
## # A tibble: 5 x 3
##   variable ave_cpp med_cpp
##   <fct>      <dbl>   <dbl>
## 1 Lasso      117.    118. 
## 2 CRL        105.    108. 
## 3 GL          85.8    86.7
## 4 CGL         86.2    86.2
## 5 rCGL        80.7    79.8

4.2 Solution path